查看原文
其他

你能猜到下一个词吗?揭秘语言理解中的预测之谜

Chandler Bing 摩登语言学
2024-09-04

你是否有过这样的经验:当你在阅读或听别人说话时,你会不自觉地想象接下来会出现什么词语?这就是语言预测的现象,它是人类语言理解的一个重要方面。语言预测可以帮助我们更快更准确地理解语言,也可以让我们更流畅地进行交流。


### 语言预测的原理
语言预测的基本原理是:你的大脑有一个内部模型,它可以根据你的经验和知识,对你所处的环境和语境进行推理和估计,从而生成对未来语言输入的概率分布。也就是说,你的大脑会根据你已经看到或听到的信息,以及你对世界的认识,来预测接下来最可能出现的词语或句子。当你接收到实际的语言输入时,你的大脑会将它与你的预测进行比较,如果两者匹配,你就会感觉轻松顺畅;如果两者不匹配,你就会感觉困惑或惊讶,同时你的大脑会根据这个误差来更新你的内部模型,使它更能适应你的语言环境。

### 语言预测的过程

语言预测的过程可以分为以下几个步骤:

第一步:获取语境信息。当你阅读或听别人说话时,你的大脑会不断地获取和处理各种语境信息,包括语言本身的信息(如词汇、语法、语义等),以及非语言的信息(如语音、面部表情、手势、背景知识、说话者的意图等)。这些信息会构成你的语境表示,它是你的大脑对当前语言环境的理解和概括。

第二步:生成预测。基于你的语境表示,你的大脑会利用你的内部模型,来生成对未来语言输入的预测。这些预测可能涉及不同的层次和维度,如语音、词形、词义、句法、语用等。这些预测也可能是多样化和梯度化的,也就是说,你的大脑不一定会预测出一个确定的词语或句子,而是会预测出一个可能性的范围,其中一些词语或句子的可能性更高,一些则更低。

第三步:接收输入。当你看到或听到下一个词语或句子时,你的大脑会将它作为输入,进行识别和理解。这个过程可能涉及不同的神经系统,如视觉或听觉系统,以及语言专用的系统,如额叶和颞叶的语言网络。

第四步:比较输入和预测。当你的大脑接收到输入后,它会将它与你的预测进行比较,计算出两者之间的差异或误差。如果输入和预测完全一致,那么误差就是零,你的大脑就不需要做任何改变;如果输入和预测不一致,那么误差就是非零,你的大脑就需要做出相应的调整。

第五步:更新内部模型。根据输入和预测之间的误差,你的大脑会更新你的内部模型,使它更能反映你的语言环境的规律和特点。这个更新的过程可能涉及不同的神经机制,如记忆、学习、注意、认知控制等。这个过程也可能影响你的情绪和行为,如兴趣、好奇、惊讶、困惑、纠正、反馈等。

### 语言预测的机制

语言预测的机制是指你的大脑是如何实现上述过程的具体方式。目前,关于语言预测的机制还没有一个统一的理论,但是有一些不同的假设和模型,它们各有优缺点,也有一些共同的特点。下面我们就来介绍一些主流的假设和模型,以及它们的证据和问题。

预测编码。预测编码是一种广泛应用于各种感知和认知领域的机制,它认为你的大脑是一个分层的系统,每一层都会向下一层发送预测信号,同时从下一层接收误差信号。这些信号会在不同的层次之间进行循环,从而实现对输入的推理和更新。预测编码的优点是它可以解释一些神经和行为的现象,如N400和P600等脑电波的变化,以及语言预测对语言理解的促进作用。预测编码的缺点是它还没有明确地说明预测信号和误差信号是如何在大脑中传递和处理的,以及它们是如何与其他的神经机制(如记忆、学习、注意等)相互作用的。

错误学习。错误学习是一种基于人工神经网络的机制,它认为你的大脑是一个可以通过不断地预测和学习来优化自己的模型。在这个机制中,你的大脑会尝试预测下一个元素(如词语或句子),然后根据实际的输入,计算出预测和输入之间的误差。这个误差会反向传播,来更新你的大脑的权重,从而使你的大脑能够减少未来的平均预测误差。错误学习的优点是它可以模拟人类的语言学习和使用,也可以复制人类在语言理解中的神经和行为的模式。错误学习的缺点是它通常只能在小的玩具数据集上进行测试,而且它的不同变体(如不同的网络结构或学习算法或目标函数)之间的差异和联系还没有清楚地说明。

语言模型。语言模型是一种基于统计的机制,它认为你的大脑是一个可以根据语言的历史信息,来计算下一个元素(如词语或句子)的概率的模型。在这个机制中,你的大脑会根据你的语境表示,来选择一个合适的语言模型,然后用它来生成对未来语言输入的预测。这些预测可能是一个概率分布,也可能是一个最大似然的元素。语言模型的优点是它可以利用大量的语料库,来训练和测试你的大脑的预测能力,也可以与其他的机制(如预测编码或错误学习)相结合,来提高你的大脑的预测性能。语言模型的缺点是它通常只能捕捉语言的表层信息,而忽略语言的深层信息,如语义、语用、逻辑等。

以上就是我为你介绍的语言预测的原理、过程和机制,希望你能从中学到一些有趣的知识,也能对你的大脑有一个新的认识。你的大脑是一个非常复杂而神奇的系统,它可以通过语言预测,来提高你的语言理解和交流的效率和质量。你也可以通过一些方法,来训练和提升你的语言预测能力,比如多阅读、多听、多说、多写,以及多尝试不同的语言和风格。语言预测是你的大脑的一项超能力,你要好好利用它,让它为你的学习和生活带来更多的乐趣和便利。

作者:Chandler Bing | 来源:Cell | 编辑:扬薇儿

基于:Ryskin, R., & Nieuwland, M. S. (2023). Prediction during language comprehension: what is next?. Trends in Cognitive Sciences.

网址:https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(23)00199-7


-往期文章-






继续滑动看下一个
摩登语言学
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存